Nghĩa Khang vốn không có học vấn, nên chẳng nắm được đạo lý; tự cho rằng mình với hoàng đế là anh em chí thân, không cần giữ khoảng cách như vua tôi thông thường, vì vậy cứ thực lòng hành xử, không kiêng dè những việc sẽ khiến nhà vua nghi ngờ. Nghĩa Khang dưới quyền có hơn 6000 thủ hạ, nhưng không thông báo lên triều đình. Địa phương dâng lễ vật, đều đem thượng phẩm cho Nghĩa Khang, thứ phẩm cho hoàng cung. Văn đế từng ăn cam vào mùa đông, than rằng cam xấu, Nghĩa Khang đang ngồi đấy, nói: “Năm nay cam rất tốt mà!” Rồi sai người về Đông phủ lấy cam, dâng lên những trái đều lớn hơn đồ ngự 3 tấc.

Thượng thư bộc xạ Ân Cảnh Nhân được Văn đế sủng ái, vốn cùng Lưu Trạm thân thiết, về sau lại bất hòa. Trạm thường cậy quyền tể tướng của Nghĩa Khang hòng hãm hại Cảnh Nhân, nhưng Cảnh Nhân được Văn đế che chở, Nghĩa Khang cũng không nghe theo, khiến Trạm thất vọng. Người Nam Dương là Lưu Bân có họ hàng xa với Trạm, giỏi xử lý dân sự, được Nghĩa Khang biết tài, cất nhắc từ Tư đồ hữu trưởng sử lên làm Tả trưởng sử. Người Lang Da là Tòng sự trung lang Vương Lý, người Bái Quận là Chủ bộ Lưu Kính Văn, người Lỗ Quận là Tế tửu Khổng Dận Tú, đều nhờ Nghĩa Khang mà được vào triều, thấy Văn đế bệnh nặng, đều cho rằng nên lập vua trưởng thành. Văn đế từng gặp lúc bệnh trở nặng, sai Nghĩa Khang chuẩn bị chiếu Cố mệnh. Nghĩa Khang quay lại triều đường, rơi nước mắt thông báo cho Lưu Trạm với Ân Cảnh Nhân, Trạm nói: “Thiên hạ lắm việc, há ấu chủ có thể đảm đương.” Nghĩa Khang, Cảnh Nhân đều không đáp, còn bọn Khổng Dận Tú liền dâng thư lên kiến nghị làm theo lối triều thần nhà Tấn phù lập Tấn Khang đế (thay anh trai là Tấn Thành đế); Nghĩa Khang không biết việc này, nhưng Văn đế sau đó khỏi bệnh, lại có nghe qua.

Bọn Lưu Bân cậy được Nghĩa Khang sủng tín, dựa vào uy quyền của tể tướng mà khống chế triều đình, hòng tìm cách giành đế vị cho ông. Họ kết làm phe đảng, dò xét trong cung ngoài triều, đối với những người không cùng chí hướng, thì vu cáo tội trạng để bãi truất; lại góp nhặt mọi động thái của Ân Cảnh Nhân, thêm thắt vào rồi tố cáo với Lưu Trạm. Tất cả những việc này khiến cho mối quan hệ của Văn đế - Nghĩa Khang dần rạn vỡ.

Nghĩa Khang muốn lấy Lưu Bân làm Đan Dương doãn, tìm dịp kể với Văn đế gia cảnh nghèo nàn của Bân, Văn đế biết ý, chặn lời ông rằng: “Lấy hắn nắm Ngô Quận.” Về sau Cối Kê thái thú Dương Huyền Bảo xin về triều, Nghĩa Khang lại muốn lấy Bân thay thế, nên hỏi Văn đế: “Dương Huyền Bảo muốn về, không rõ nên lấy ai nắm Cối Kê?” Văn đế chưa nghĩ ra, thảng thốt nói: “Ta muốn dùng Vương Hồng.”

Từ mùa thu năm 439, Văn đế không ghé Đông phủ nữa.